人工神经网络通过反向传播培训极其深的网络成功解决了各种各样的问题。直接应用背部传播到尖峰神经网络含有生物学难以判断的组件，如重量运输问题或单独的推理和学习阶段。各种方法单独地解决不同的组件，但完整的解决方案保持无形。在这里，我们采取了一种替代方法，可以完全避免反向传播及其相关问题。深度学习的最新工作提出了通过信息瓶颈（IB）独立培训每层网络。随后的研究指出，该层面的方法绕过层的误差传播，导致生物合理的范式。不幸的是，使用一批样本来计算IB。先前的工作通过重量更新解决，仅使用两个样本（当前和先前的样本）。我们的工作通过将体重更新分解为本地和全局组件来采用不同的方法。本地组件是Hebbian，只取决于当前的样本。全局组件计算依赖于一批样本的层面调制信号。我们表明该调制信号可以通过具有像储存器的工作存储器（WM）的辅助电路来学习。因此，我们可以使用大于两个的批量尺寸，并且批处理大小确定了WM所需的容量。据我们所知，我们的规则是第一种生物合理的机制，可以直接与任务的WM耦合突触更新。我们评估我们对综合数据集和图像分类数据集的规则，如Mnist，我们探讨了WM容量对学习性能的影响。我们希望我们的工作是了解记忆在学习中的机制作用的第一步。
translated by 谷歌翻译
深入学习的成功已归功于大量数据培训大量的过度公正模型。随着这种趋势的继续，模型培训已经过分昂贵，需要获得强大的计算系统来培训最先进的网络。一大堆研究已经致力于通过各种模型压缩技术解决训练的迭代的成本，如修剪和量化。花费较少的努力来定位迭代的数量。以前的工作，例如忘记得分和宏伟/ el2n分数，通过识别完整数据集中的重要样本并修剪剩余的样本来解决这个问题，从而减少每时代的迭代。虽然这些方法降低了训练时间，但它们在训练前使用昂贵的静态评分算法。在计入得分机制时，通常会增加总运行时间。在这项工作中，我们通过动态数据修剪算法解决了这种缺点。令人惊讶的是，我们发现均匀的随机动态修剪可以以积极的修剪速率更优于现有的工作。我们将其归因于存在“有时”样本 - 对学习决策边界很重要的点，只有一些培训时间。为了更好地利用有时样本的微妙性，我们提出了基于加强学习技术的两种算法，以动态修剪样本并实现比随机动态方法更高的准确性。我们针对全数据集基线和CIFAR-10和CIFAR-100上的先前工作测试所有方法，我们可以将培训时间降低到2倍，而无明显的性能损失。我们的结果表明，数据修剪应理解为与模型的训练轨迹密切相关的动态过程，而不是仅基于数据集的静态步骤。
translated by 谷歌翻译
This paper presents the OPUS ecosystem with a focus on the development of open machine translation models and tools, and their integration into end-user applications, development platforms and professional workflows. We discuss our on-going mission of increasing language coverage and translation quality, and also describe on-going work on the development of modular translation models and speed-optimized compact solutions for real-time translation on regular desktops and small devices.
translated by 谷歌翻译
与现场测量相比，遥感益处可以通过使大面积的监控更容易地进行栖息地保护，尤其是在可以自动分析遥感数据的情况下。监测的一个重要方面是对受监视区域中存在的栖息地类型进行分类和映射。自动分类是一项艰巨的任务，因为课程具有细粒度的差异，并且它们的分布是长尾巴且不平衡的。通常，用于自动土地覆盖分类的培训数据取决于完全注释的分割图，从遥感的图像到相当高的分类学，即森林，农田或市区等类别。自动栖息地分类的挑战是可靠的数据注释需要现场策略。因此，完整的分割图的生产成本很高，训练数据通常很稀疏，类似点，并且仅限于可以步行访问的区域。需要更有效地利用这些有限数据的方法。我们通过提出一种栖息地分类和映射的方法来解决这些问题，并应用此方法将整个芬兰拉普兰北部地区分类为Natura2000类。该方法的特征是使用从现场收集的细粒，稀疏，单像素注释，并与大量未经通知的数据结合在一起来产生分割图。比较了监督，无监督和半监督的方法，并证明了从较大的室外数据集中转移学习的好处。我们提出了一个\ ac {cnn}偏向于中心像素分类，与随机的森林分类器结合使用，该分类器比单独的模型本身产生更高的质量分类。我们表明，增加种植，测试时间的增加和半监督的学习可以进一步帮助分类。
translated by 谷歌翻译
从分布式敏感数据中学习隐私的模型是一个越来越重要的问题，通常在联邦学习环境中提出。最近通过分区的变异推理算法扩展到了非私有联盟学习设置。为了保护隐私，当前的黄金标准称为差异隐私。差异隐私在强大的数学上明确定义的意义上保证了隐私。在本文中，我们介绍了差异化的分区变异推断，这是学习与联合学习环境中贝叶斯后分布的差异近似的第一个通用框架，同时最大程度地减少了通信弹的数量并为数据主体提供差异隐私保证。我们在通用框架中提出了三个替代实现，一个基于单个方面的本地优化，而两个基于扰动全局更新（一种使用联合平均版本，一个将虚拟方添加到协议中），并比较其属性，并比较其属性理论上和经验。我们表明，只要各方都有足够的本地数据，扰动本地优化与简单且复杂的模型效果很好。但是，每个方始终独立保证隐私。相比之下，扰动全局更新与相对简单的模型最有效。鉴于可以访问合适的安全原始词，例如安全聚合或安全的改组，所有各方都可以共同保证隐私。
translated by 谷歌翻译
嘈杂的传感，不完美的控制和环境变化是许多现实世界机器人任务的定义特征。部分可观察到的马尔可夫决策过程（POMDP）提供了一个原则上的数学框架，用于建模和解决不确定性下的机器人决策和控制任务。在过去的十年中，它看到了许多成功的应用程序，涵盖了本地化和导航，搜索和跟踪，自动驾驶，多机器人系统，操纵和人类机器人交互。这项调查旨在弥合POMDP模型的开发与算法之间的差距，以及针对另一端的不同机器人决策任务的应用。它分析了这些任务的特征，并将它们与POMDP框架的数学和算法属性联系起来，以进行有效的建模和解决方案。对于从业者来说，调查提供了一些关键任务特征，以决定何时以及如何成功地将POMDP应用于机器人任务。对于POMDP算法设计师，该调查为将POMDP应用于机器人系统的独特挑战提供了新的见解，并指出了有希望的新方向进行进一步研究。
translated by 谷歌翻译
众所周知，培训数据的数量和质量在创建良好的机器学习模型中起着重要作用。在本文中，我们将其进一步迈出一步，并证明培训示例的安排方式也至关重要。课程学习建立在有组织和结构化的知识同化的观察基础上，具有更快的培训和更好理解的能力。当人类学会说话时，他们首先尝试说出基本的电话，然后逐渐朝着更复杂的结构（例如单词和句子）发展。该方法被称为课程学习，我们在自动语音识别的背景下使用它。我们假设端到端模型在提供有组织的训练集时可以实现更好的性能，该训练集由示例组成，这些示例表现出越来越高的难度（即课程）。为了在训练集上强加结构并定义一个简单示例的概念，我们探索了多个评分功能，这些功能要么使用外部神经网络的反馈，要么将模型本身的反馈纳入。经验结果表明，通过不同的课程，我们可以平衡培训时间和网络的表现。
translated by 谷歌翻译
我们提出了一种方法，用于寻找任意初始投资组合和市场国家的最佳对冲政策。我们开发了一种新型的参与者评论算法，用于解决一般的规避风险随机控制问题，并使用它同时学习跨多种风险规避水平的对冲策略。我们在随机波动性环境中以数值示例来证明该方法的有效性。
translated by 谷歌翻译
激光加工是一种高度灵活的非接触式制造技术，在学术界和行业中广泛使用。由于光和物质之间的非线性相互作用，模拟方法非常重要，因为它们通过理解激光处理参数之间的相互关系来帮助增强加工质量。另一方面，实验处理参数优化建议对可用处理参数空间进行系统且耗时的研究。一种智能策略是采用机器学习（ML）技术来捕获Picsecond激光加工参数之间的关系，以找到适当的参数组合，以创建对工业级氧化铝陶瓷的所需削减，并具有深层，平滑和无缺陷的模式。激光参数，例如梁振幅和频率，扫描仪的传递速度以及扫描仪与样品表面的垂直距离的速度，用于预测深度，最高宽度和底部宽度使用ML型号雕刻通道。由于激光参数之间的复杂相关性，因此表明神经网络（NN）是预测输出最有效的。配备了ML模型，该模型可以捕获激光参数与雕刻通道尺寸之间的互连，可以预测所需的输入参数以实现目标通道几何形状。该策略大大降低了开发阶段实验激光加工的成本和精力，而不会损害准确性或性能。开发的技术可以应用于各种陶瓷激光加工过程。
translated by 谷歌翻译
最近在无线通信领域的许多任务中考虑了机器学习算法。以前，我们已经提出了使用深度卷积神经网络（CNN）进行接收器处理的使用，并证明它可以提供可观的性能提高。在这项研究中，我们专注于发射器的机器学习算法。特别是，我们考虑进行波束形成并提出一个CNN，该CNN对于给定上行链路通道估计值作为输入，输出下链路通道信息用于波束成形。考虑到基于UE接收器性能的损失函数的上行链路传输和下行链路传输，CNN以有监督的方式进行培训。神经网络的主要任务是预测上行链路和下行链路插槽之间的通道演变，但它也可以学会处理整个链中的效率低下和错误，包括实际的光束成型阶段。提供的数值实验证明了波束形成性能的改善。
translated by 谷歌翻译